Khi Nhĩ Chu Vinh bị Hiếu Trang đế giết, Triệu từ Phần Châu soái kỵ binh giữ Tấn Dương. Nguyên Huy nắm quyền chánh, cho ông thụ chức Đại tướng quân, thăng tước làm vương. Nhưng Triệu vẫn cùng bọn Nhĩ Chu Thế Long bàn mưu đánh Lạc Dương, rồi soái quân nam tiến, đến núi Thái Hành, đô đốc Sử Ngỗ Long dưới quyền Đại đô đốc Nguyên Tử Cung mở lũy ra hàng, Tử Cung lui chạy. Ông đưa khinh kỵ theo đường tắt từ Hà Lương tây tiến, vượt Hoàng Hà bất ngờ tập kích kinh thành. Quân của Triệu ập vào, túc vệ tan chạy, Hiếu Trang đế trốn ra cửa Vân Long thì bị bắt. Ông đem Hiếu Trang đế giam ở chùa Vĩnh Ninh, đánh chết hoàng tử (con của Nhĩ Chu hoàng hậu), hãm hiếp phi tần, thả binh cướp bóc; ở lại Lạc Dương hơn tuần thì đưa đế về Tấn Dương, còn mình dừng lại Hà Lương kiểm đếm tài sản. Sau đó, sai người giết chết Hiếu Trang đế ở chùa Tam Cấp,

Ngay sau khi giết Nhĩ Chu Vinh, Hiếu Trang đế ban chiếu cho nghĩa quân Hột Đậu Lăng Bộ Phiền ở Hà Tây tập kích Tú Dung. Triệu vào Lạc Dương thì cũng là lúc binh lực của Bộ Phiền rất mạnh, từ phía nam uy hiếp Tấn Dương. Ông không dám ở lại Lạc Dương thêm nữa, mà vội vàng lui quân về Tấn Dương chống lại Bộ Phiền.

Triệu hữu dũng vô mưu, nhiều lần bị Bộ Phiền đánh bại, bèn thu gom sĩ tốt, tính ra Sơn Đông. Ông mấy lần gọi thì Tấn Châu thứ sử Cao Hoan mới đến, chia cho ông ta người của 3 châu 6 trấn, phân biệt doanh binh, rồi cùng nhau đưa quân đi về phía nam, để tránh khí thế hừng hực của nghĩa quân. Bộ Phiền đuổi theo đến quận Nhạc Bình, Triệu và Hoan quay lại tấn công, chém được Bộ Phiền ở núi Thạch Cổ thuộc Tú Dung. Ông đưa vài chục kỵ binh đến chỗ Hoan, uống rượu thâu đêm. Sau đó, Triệu mời Hoan, ông ta đã lên ngựa, nhưng bọn trưởng sử Tôn Đằng níu áo giữ lại. Triệu cách sông mắng chửi bọn Đằng, rồi lui quân. Hoan về miền đông, ông về Tấn Dương.

Khi Bắc Ngụy Tiết Mẫn đế mới lên ngôi, thụ Triệu làm Sứ trì tiết, thị trung, đô đốc Trung ngoại chư quân sự, Trụ quốc đại tướng quân, Lĩnh quân tướng quân, Lĩnh tả hữu, Tịnh Châu thứ sử, kiêm Lục thượng thư sự, Đại hành đài. Lại lấy ông làm Thiên trụ đại tướng quân, Triệu cho rằng đây là quan chức mà Nhĩ Chu Vinh đã nhận rồi phải chết, nên không dám nhận. Sau đó được gia chức Đô đốc 10 châu chư quân sự, thế tập Tịnh Châu thứ sử.